Trong lịch sử Lục quân Đế quốc Nhật Bản có tổng cộng 6 tổng quân được thành lập, trong đó có 1 tổng quân hàng không lục quân. Ba tổng quân đầu tiên được thành lập phụ trách chiến trường hải ngoại. Tư lệnh của các tổng quân này được trao quyền lực rất lớn cả về quân sự lẫn chính trị, giữ vai trò như một toàn quyền tại các vùng chiếm đóng.

Tổng quân đầu tiên là Chi Na phái khiển quân (支那派遣軍, Shina hakengun), biệt danh Vinh quân đoàn (栄集団, Sakae shūdan), được thành lập ngày 12 tháng 9 năm 1939, do Đại tướng Toshizo Nishio làm Tổng tư lệnh, Đại tướng Seishiro Itagaki làm Tổng Tham mưu trưởng. Chiến trường phụ trách phần phía Đông Trung Quốc. Tổng hành dinh đóng tại Nam Kinh (Trung Quốc). Biên chế ban đầu của tổng quân gồm 2 phương diện quân là Phương diện quân Bắc Chi Na, Phái khiển quân Trung Chi Na (tuy nhiên Phái khiển quân Trung Chi Na bị giải thể sau đó không lâu), 3 quân đoàn và một số sư đoàn độc lập, một sư đoàn hàng không. Binh lực lúc cao điểm lên đến 1 triệu quân, với 26 sư đoàn tác chiến (trong đó có 1 sư đoàn thiết giáp), 22 lữ đoàn độc lập.

Ngày 6 tháng 11 năm 1941, Nam Phương quân (南方軍, Nampō gun) được thành lập, thống nhất chỉ huy các đơn vị viễn chinh phía Nam Trung Quốc, do Nguyên soái Terauchi Hisaichi làm Tổng tư lệnh, Trung tướng Tsukada Osamu làm Tổng Tham mưu trưởng. Chiến trường phụ trách phần Nam Trung Quốc và Đông Nam Á. Tổng hành dinh đóng tại Sài Gòn. Biên chế ban đầu của tổng quân gồm các Phương diện quân Burma (sau đổi thành Phương diện quân Miến Điện), 7, 14, 18, và 4 quân đoàn độc lập. Binh lực lúc cao điểm lên đến hơn 1 triệu quân, với 38 sư đoàn tác chiến, 22 lữ đoàn độc lập.

Ngày 1 tháng 10 năm 1942, Quan Đông quân (関東軍, Kantō gun), biệt danh Đức binh đoàn (德兵團, Tokū heidan), được nâng lên cấp Tổng quân. Đại tướng Umezu Yoshijirō thăng làm Tổng tư lệnh, Trung tướng Kasahara Yukio làm Tổng Tham mưu trưởng. Chiến trường phụ trách địa bàn Mãu Châu và Bắc Trung Quốc, với Tổng hành dinh đóng tại Tân Kinh (Mãn Châu Quốc). Biên chế ban đầu của tổng quân gồm 3 phương diện quân (1, 3, 17), 3 quân đoàn độc lập. Binh lực lúc cao điểm lên đến 1,3 triệu quân, với hơn 31 sư đoàn tác chiến, 11 lữ đoàn độc lập (trong đó có 2 lữ đoàn xe tăng).